ExpBoN: Exponential-Noise Best-of-$n$ for Efficient Test-Time LLM Alignment
ExpBoN：用于高效测试时LLM对齐的指数噪声Best-of-n
🧭 推理时对齐 · 指数噪声BoN ★ 深度解读
Imperial College London · University of Washington
提出指数噪声Soft Best-of-n，有限样本下指数收敛，结合GSI可减少推理计算39%-45%
📌 工作参考价值（4 点）
- 在需从候选集按 reward 加权采样的场景（如生成式推荐、query/文案选择），可用 exponential-noise report-noisy-max 替代 softmax/Gumbel，有限样本下收敛更快，且期望奖励不低于 SBoN；其精确分解还可用于分布保持的 early exit。
- 借鉴 GSI 的 draft-target 架构：用轻量 draft 模型生成候选、大模型验证和选择，结合 clipped reward（对 log-likelihood ratio 设上限）可避免无界重要性权重；clipping level 用历史数据 95 分位数校准，跨任务固定。
- 工程实现中，利用 exponential noise 的 memorylessness：通过阈值截断和随机顺序扫描实现早停，命中时直接返回，可大幅降低实际计算量；在设计 speculative decoding 或 Agent 多步推理时，可借鉴此早停策略。
- 注意：指数噪声对 proxy reward 的过优化可能更激进，业务中需搭配 reward hacking 缓解、或对 reward 模型做校准。